The typical way for relation extraction is fine-tuning large pre-trained language models on task-specific datasets, then selecting the label with the highest probability of the output distribution as the final prediction. However, the usage of the Top-k prediction set for a given sample is commonly overlooked. In this paper, we first reveal that the Top-k prediction set of a given sample contains useful information for predicting the correct label. To effectively utilizes the Top-k prediction set, we propose Label Graph Network with Top-k Prediction Set, termed as KLG. Specifically, for a given sample, we build a label graph to review candidate labels in the Top-k prediction set and learn the connections between them. We also design a dynamic $k$-selection mechanism to learn more powerful and discriminative relation representation. Our experiments show that KLG achieves the best performances on three relation extraction datasets. Moreover, we observe that KLG is more effective in dealing with long-tailed classes.
translated by 谷歌翻译
Sequence generation demonstrates promising performance in recent information extraction efforts, by incorporating large-scale pre-trained Seq2Seq models. This paper investigates the merits of employing sequence generation in relation extraction, finding that with relation names or synonyms as generation targets, their textual semantics and the correlation (in terms of word sequence pattern) among them affect model performance. We then propose Relation Extraction with Label Augmentation (RELA), a Seq2Seq model with automatic label augmentation for RE. By saying label augmentation, we mean prod semantically synonyms for each relation name as the generation target. Besides, we present an in-depth analysis of the Seq2Seq model's behavior when dealing with RE. Experimental results show that RELA achieves competitive results compared with previous methods on four RE datasets.
translated by 谷歌翻译
多模式变压器的最新努力通过合并视觉和文本信息改善了视觉上丰富的文档理解（VRDU）任务。但是，现有的方法主要集中于诸如单词和文档图像贴片之类的细粒元素，这使得他们很难从粗粒元素中学习，包括短语和显着视觉区域（如突出的图像区域）等自然词汇单元。在本文中，我们对包含高密度信息和一致语义的粗粒元素更为重要，这对于文档理解很有价值。首先，提出了文档图来模拟多层次多模式元素之间的复杂关系，其中通过基于群集的方法检测到显着的视觉区域。然后，提出了一种称为mmlayout的多模式变压器，以将粗粒的信息纳入基于图形的现有预训练的细颗粒的多峰变压器中。在mmlayout中，粗粒信息是从细粒度聚集的，然后在进一步处理后，将其融合到细粒度中以进行最终预测。此外，引入常识增强以利用天然词汇单元的语义信息。关于四个任务的实验结果，包括信息提取和文档问答，表明我们的方法可以根据细粒元素改善多模式变压器的性能，并使用更少的参数实现更好的性能。定性分析表明，我们的方法可以在粗粒元素中捕获一致的语义。
translated by 谷歌翻译
在知识图上回答自然语言问题（KGQA）仍然是通过多跳推理理解复杂问题的巨大挑战。以前的努力通常利用与实体相关的文本语料库或知识图（kg）嵌入作为辅助信息来促进答案选择。但是，实体之间隐含的富裕语义远未得到很好的探索。本文提议通过利用关系路径的混合语义来改善多跳kgqa。具体而言，我们基于新颖的旋转和规模的实体链接链接预测框架，集成了关系路径的明确文本信息和隐式kg结构特征。在三个KGQA数据集上进行的广泛实验证明了我们方法的优势，尤其是在多跳场景中。进一步的调查证实了我们方法在问题和关系路径之间的系统协调，以识别答案实体。
translated by 谷歌翻译
低频词预测仍然是现代神经电机翻译（NMT）系统的挑战。最近的自适应培训方法通过强调整体培训目标的重量来促进不频繁词语的产出。尽管召回了低频词的召回，但它们的预测精度意外地受到自适应目标的阻碍。灵感来自观察到低频词形成更紧凑的嵌入空间，我们从代表学习角度解决这一挑战。具体地，我们提出了一种频率感知的令牌级对比度学习方法，其中每个解码步骤的隐藏状态以基于相应的字频率的柔和对比方式从其他目标单词的对应物推开。我们对广泛使用的NIST汉语 - 英语和WMT14英语 - 德语翻译任务进行实验。经验结果表明，我们的提出方法不仅可以显着提高翻译质量，还可以提高词汇分集和优化词表示空间。进一步调查揭示了，与相关的自适应培训策略相比，我们对低频词预测方法的优势在于在不牺牲精度的情况下在不同频率上的令牌级召回的鲁棒性。
translated by 谷歌翻译
估计到达时间（ETA）预测时间（也称为旅行时间估计）是针对各种智能运输应用程序（例如导航，路线规划和乘车服务）的基本任务。为了准确预测一条路线的旅行时间，必须考虑到上下文和预测因素，例如空间 - 周期性的互动，驾驶行为和交通拥堵传播的推断。先前在百度地图上部署的ETA预测模型已经解决了时空相互作用（constgat）和驾驶行为（SSML）的因素。在这项工作中，我们专注于建模交通拥堵传播模式以提高ETA性能。交通拥堵的传播模式建模具有挑战性，它需要考虑到随着时间的推移影响区域的影响区域，以及延迟变化随时间变化的累积影响，这是由于道路网络上的流量事件引起的。在本文中，我们提出了一个实用的工业级ETA预测框架，名为Dueta。具体而言，我们基于交通模式的相关性构建了一个对拥堵敏感的图，并开发了一种路线感知图形变压器，以直接学习路段的长距离相关性。该设计使Dueta能够捕获空间遥远但与交通状况高度相关的路段对之间的相互作用。广泛的实验是在从百度地图收集的大型现实世界数据集上进行的。实验结果表明，ETA预测可以从学习的交通拥堵传播模式中显着受益。此外，Dueta已经在Baidu Maps的生产中部署，每天都有数十亿个请求。这表明Dueta是用于大规模ETA预测服务的工业级和强大的解决方案。
translated by 谷歌翻译
本文描述了基于RRMSE（相对均方根误差）的权重，以在平均集合投票回归之前的预测值发生。整体回归背后的核心思想是结合几个基本回归模型，以通过数字连续目标变量来提高学习问题的预测性能。合奏投票回归的默认权重设置是统一权重，没有学习任务的领域知识，为预测分配权重是不可能的，这使得很难改善预测。这项工作试图通过实施基于RRMSE的加权函数来改善投票回归的预测。实验表明，与六个流行的回归学习数据集上的其他最先进的合奏回归算法相比，RRMSE投票回归器的预测能够更好地预测。
translated by 谷歌翻译
预训练的模型（PTM）已成为自然语言处理和计算机视觉下游任务的基本骨干。尽管通过在BAIDU地图上将通用PTM应用于与地理相关的任务中获得的最初收益，但随着时间的流逝，表现平稳。造成该平稳的主要原因之一是缺乏通用PTM中的可用地理知识。为了解决这个问题，在本文中，我们介绍了Ernie-Geol，这是一个地理和语言预培训模型，设计和开发了用于改善Baidu Maps的地理相关任务。 Ernie-Geol经过精心设计，旨在通过预先培训从包含丰富地理知识的异质图生成的大规模数据来学习地理语言的普遍表示。大规模现实数据集进行的广泛定量和定性实验证明了Ernie-Geol的优势和有效性。自2021年4月以来，Ernie-Geol已经在百度地图上部署在生产中，这显着受益于各种下游任务的性能。这表明Ernie-Geol可以作为各种与地理有关的任务的基本骨干。
translated by 谷歌翻译
预先接受的语言模型实现了最先进的导致各种自然语言处理（NLP）任务。 GPT-3表明，缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架，以预先培训大型知识增强型号，并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现，我们培养了百卢比的3.0泰坦参数型号，在PaddlePaddle平台上有高达260亿参数的泰坦。此外，我们设计了一种自我监督的对抗性损失和可控语言建模损失，以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放，我们向Ernie 3.0泰坦提出了一个在线蒸馏框架，教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明，Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。
translated by 谷歌翻译
近年来，由于图表代表学习的出色表现，图形神经网络（GNN）技术在许多真实情景中获得了相当大的兴趣，例如推荐系统和社交网络。在推荐系统中，主要挑战是从其互动中学习有效的用户/项目表示。但是，由于它们对数据集和评估度量的差异，比较使用GNNS用于推荐系统的GNN的许多出版物。此外，其中许多只提供了一个演示，以对小型数据集进行实验，这很远可在现实世界推荐系统中应用。为了解决这个问题，我们介绍了Graph4Rec，这是一个Universal Toolkit，它统一地将GNN模型培训到以下部分：图表输入，随机步行生成，自我图形生成，对生成和GNNS选择。从这个训练管道，可以通过一些配置轻松建立自己的GNN模型。此外，我们开发了一个大规模的图形引擎和参数服务器，以支持分布式GNN培训。我们进行系统和全面的实验，以比较不同GNN模型在不同规模中的若干场景中的性能。证明了广泛的实验以识别GNN的关键组分。我们还尝试弄清楚稀疏和密集的参数如何影响GNN的性能。最后，我们研究了包括负面采样，自我图形建设顺序和温暖开始策略的方法，以找到更有效和高效的GNNS在推荐系统上做法。我们的工具包基于PGL HTTPS://github.com/paddlePaddle/pgl，并且在https://github.com/paddlepaddle/pgl/tree/main/apps/graph4rec中打开代码。
translated by 谷歌翻译